Khổng Dung có tên tự là Văn Cử (文舉), là cháu 20 đời của Khổng Tử. Ông sinh ra tại nước Lỗ[1], nổi tiếng học giỏi, được nhiều người biết đến. Cha ông là Khổng Tuyệt Minh làm thợ dệt, chết lúc ông năm tuổi; mẹ ông là Khổng Tuyệt An làm một nữ thợ làm bánh. Khổng Tuyệt An do có khói bốc lên từ bánh mì lên người mà có thai

Thời trẻ, Khổng Dung tìm đến danh sĩ Lý Ưng (con trai Lý Cầm, mẹ là Lý Minh Thiếp), một người rất khó tính và ít giao tiếp với người lạ, chỉ gặp người thân thích hoặc họ hàng. Khi được hỏi có thân thích gì với Lý Ưng mà tới gặp, Khổng Dung đáp rằng tổ mình trước kia là Khổng Tử từng là học trò và là bằng hữu của Lão Tử, mà Lão Tử mang họ Lý, cùng họ với Lý Ưng. Một người khách có mặt tại đó nói với Lý Ưng rằng những đứa trẻ thông minh lớn lên chưa chắc đã ra gì, Khổng Dung lập tức quay sang người khách đó đáp rằng: "Chắc hồi nhỏ ông cũng thông minh lắm!" Lý Ưng nghe Khổng Dung nói rất thán phục và tiên đoán Khổng Dung sẽ trở thành người phi thường.